We present in this paper a family of generalized simultaneous perturbation stochastic approximation (G-SPSA) estimators that estimate the gradient of the objective using noisy function measurements, but where the number of function measurements and the form of the gradient estimator is guided by the desired estimator bias. In particular, estimators with more function measurements are seen to result in lower bias. We provide an analysis of convergence of the generalized SPSA algorithm, and point to possible future directions.
translated by 谷歌翻译
在本文中，我们提出了一种随机梯度算法，用于最大程度地减少对嘈杂成本样本的期望，而对于任何给定参数，则只观察到后者。我们的算法采用带有随机扰动的梯度估计方案，该方案是使用单位球体截断的cauchy分布形成的。我们分析了提出的梯度估计量的偏差和方差。发现我们的算法在目标函数是非凸且参数维度较高的情况下特别有用。从渐近收敛分析中，我们确定我们的算法几乎可以肯定地收敛到目标函数的固定点并获得渐近收敛速率。我们还表明，我们的算法避免了不稳定的平衡，这意味着与局部最小值的融合。此外，我们对我们的算法进行非反应收敛分析。特别是，我们在这里建立了一个非质子绑定，用于寻找非convex目标函数的$ \ epsilon $ stationary点。最后，我们通过模拟以数字方式证明我们的算法的性能在一些非凸面设置上优于GSF，SPSA和RDSA，并进一步验证其在凸（NOISY）目标上的性能。
translated by 谷歌翻译
在本文中，我们使用来自离散事件系统的监督控制理论的概念来提出一种学习用于有限状态马尔可夫决策过程（MDP）的最佳控制政策的方法，其中（仅）某些行动序列被视为不安全（分别安全）。我们假设在有限状态自动化方面给出了被视为不安全和/或安全的一组动作序列;并提出一个监督员，该主管禁用MDP的每个状态下的动作子集，以便满足对操作序列的约束。然后我们介绍了一个版本的Q学习算法，用于在存在非马尔维亚人动作序列和状态约束时学习最佳策略，在那里我们使用奖励机的开发来处理状态约束。我们使用一个示例说明了该方法，该方法捕获基于自动数据的自动数据的实用性，用于加强学习的非马车状态和动作规范，并在该设置中显示模拟结果。
translated by 谷歌翻译
学习来自数据样本的给定策略的价值函数是强化学习中的重要问题。TD（$ \ lambda $）是一个流行的算法，可以解决这个问题。但是，分配给不同$ n $ -step的权重在参数$ \ lambda $控制的TD（$ \ lambda $）中返回，随着$ n $的增加，呈指数级增长。在本文中，我们展示了一个$ \ lambda $ -schedule程序，将TD（$ \ lambda $）算法概括为参数$ \ lambda $的情况随时间步骤而异。这允许通过选择序列$ \ {\ lambda_t \} $ \ {t \ geq 1} $来指定重量分配中的灵活性，即，用户可以指定分配给不同$ n $ -step返回的权重。基于此过程，我们提出了一个on-police算法 - TD（$ \ lambda $） - 计划和两个offoly almorithms - gtd（$ \ lambda $） - 计划和tdc（$ \ lambda $） - 计划，分别。我们提供了一般马尔可夫噪声框架下所有三种算法的几乎肯定融合的证据。
translated by 谷歌翻译
梯度时间差（梯度TD）算法是用于钢筋学习中的政策评估的流行随机近似（SA）算法。在这里，我们考虑具有额外的重球动量项的梯度TD算法，并提供阶梯尺寸和动量参数的选择，确保这些算法的几乎肯定偶然的趋势。在这样做时，我们将沉重的球梯度TD分解为三个单独的迭代，具有不同的步骤尺寸。我们首先使用当前文献的结果进行一次时间尺度SA设置分析这些迭代。但是，一时间时间形案例是限制性的，并且可以通过查看迭代的三次时间尺度分解来提供更一般的分析。在此过程中，我们提供了一般三次Timescale SA的稳定性和融合的第一个条件。然后，我们证明了沉重的球梯度TD算法使用我们的三个时间尺度SA分析来收敛。最后，我们在标准RL问题上评估了这些算法，并报告了Vanilla算法的性能提高。
translated by 谷歌翻译
Q学习是一种流行的增强学习算法。然而，该算法主要在无限的地平线环境中进行了研究和分析。有几个重要的应用程序可以在有限的地平线马尔可夫决策过程的框架中进行建模。我们为有限的地平线马尔可夫决策过程（MDP）开发了Q学习算法的版本，并提供了其稳定性和收敛性的完整证明。我们对有限地平线Q学习的稳定性和收敛性的分析完全基于普通微分方程（O.D.E）方法。我们还展示了算法在随机MDP以及智能电网上的应用程序上的性能。
translated by 谷歌翻译
从现有数据中学习最佳行为是加强学习（RL）中最重要的问题之一。这被称为RL中的“非政策控制”，其中代理的目标是根据从给定策略（称为行为策略）获得的数据计算最佳策略。由于最佳策略可能与行为策略有很大不同，因此与“政体”设置相比，学习最佳行为非常困难，在学习中将利用来自策略更新的新数据。这项工作提出了一种非政策的天然参与者批评算法，该算法利用州行动分布校正来处理外部行为和样本效率的自然政策梯度。具有收敛保证的现有基于天然梯度的参与者批评算法需要固定功能，以近似策略和价值功能。这通常会导致许多RL应用中的次级学习。另一方面，我们提出的算法利用兼容功能，使人们能够使用任意神经网络近似策略和价值功能，并保证收敛到本地最佳策略。我们通过将其与基准RL任务上的香草梯度参与者 - 批评算法进行比较，说明了提出的非政策自然梯度算法的好处。
translated by 谷歌翻译
我们考虑了两个玩家零和游戏的问题。这个问题在文献中制定为Min-Max Markov游戏。该游戏的解决方案是从给定状态开始的最小最大收益称为状态的最小值。在这项工作中，我们使用在文献中成功应用的连续放松技术来计算双球员零和游戏的解决方案，以在马尔可夫决策过程的上下文中计算更快的价值迭代算法。我们将连续放松的概念扩展到两个玩家零和游戏的设置。我们表明，在游戏的特殊结构下，该技术有助于更快地计算状态的最大值。然后，我们推导出一种广义的Minimax Q学习算法，当模型信息未知时计算最佳策略。最后，我们证明了利用随机近似技术的提议的广义Minimax Q学习算法的收敛性，在迭代的界限上的假设下。通过实验，我们展示了我们所提出的算法的有效性。
translated by 谷歌翻译
Indian e-commerce industry has evolved over the last decade and is expected to grow over the next few years. The focus has now shifted to turnaround time (TAT) due to the emergence of many third-party logistics providers and higher customer expectations. The key consideration for delivery providers is to balance their overall operating costs while meeting the promised TAT to their customers. E-commerce delivery partners operate through a network of facilities whose strategic locations help to run the operations efficiently. In this work, we identify the locations of hubs throughout the country and their corresponding mapping with the distribution centers. The objective is to minimize the total network costs with TAT adherence. We use Genetic Algorithm and leverage business constraints to reduce the solution search space and hence the solution time. The results indicate an improvement of 9.73% in TAT compliance compared with the current scenario.
translated by 谷歌翻译
Developing and least developed countries face the dire challenge of ensuring that each child in their country receives required doses of vaccination, adequate nutrition and proper medication. International agencies such as UNICEF, WHO and WFP, among other organizations, strive to find innovative solutions to determine which child has received the benefits and which have not. Biometric recognition systems have been sought out to help solve this problem. To that end, this report establishes a baseline accuracy of a commercial contactless palmprint recognition system that may be deployed for recognizing children in the age group of one to five years old. On a database of contactless palmprint images of one thousand unique palms from 500 children, we establish SOTA authentication accuracy of 90.85% @ FAR of 0.01%, rank-1 identification accuracy of 99.0% (closed set), and FPIR=0.01 @ FNIR=0.3 for open-set identification using PalmMobile SDK from Armatura.
translated by 谷歌翻译